西来历史悠久，距今已有1700多年的历史。他曾经是临溪县县治所在地，北朝西魏恭帝二年(555年)设县，县名以临溪河命名。临溪县设县后，经历了西魏、北周、隋、唐、前蜀、后唐、后蜀、北宋9个朝代，历时517年。北宋神宗熙宁五年(1072年)，临溪县降为临溪镇，划给临邛(邛崃县)，明洪武六年(1373年)，明朝政府重新设置蒲江县，将临溪镇、寿安镇划给蒲江县。
关于"西来"的得名，有两种说法，一说是从天上看，整个镇的民宅摆成了一个标标准准的"西"字。第二种说法是一个传说，传说康熙元年(公元1662年)，临溪河爆发百年不遇的洪水，将上游张魁场关帝庙内供奉的木刻关帝神像冲到了临溪场西林寺的产田里，西林寺的住持静慈和尚捐出庙产田，在关帝神像搁浅处新修了关帝庙。一般的庙门都为南北向，唯有西来的关帝庙门却向西开，有不忘关帝从西而来的意思。康熙34年(公元1696年)，蒲江县县令李绅文到临溪场巡视，觉得临溪场的名字不止一个，容易混淆，因关帝爷从西而来，带来了这里的繁荣和希望，借用佛教教义中"佛法西来"的典故，即唐玄奘把大藏三乘经从西取来之意，遂改临溪场为西来场。这就是"先有关帝庙，后有西来场"的来历。
